Năm 569, Thái thượng hoàng Vũ Thành chết, thọ được 33 tuổi[4]. Cao Vĩ sau đó chính thức tôn phong Hồ thị là Hoàng Thái hậu. Cùng năm đó, Triệu quận vương Cao Duệ dẫn đầu quần thần tố cáo Hòa Sĩ Khai có tư tình với Hồ thái hậu, đề nghị biếm truất khỏi triều. Hòa Sĩ Khai lại đến cầu xin Hồ thái hậu. Trước sức ép của bà, Cao Vĩ đành phải nhượng bộ, sau đó Hồ thái hậu hạ lệnh giết Cao Duệ, đồng thời đuổi Lâu Định Viễn và Cao Văn Diêu ra khỏi triều đình[5]. Từ khi Vũ Thành chết rồi, Hồ thái hậu và Hòa Sĩ Khai không còn nể sợ gì nữa, thỏa sức làm nhiều việc trái phép.

Vào năm 571, con trai thứ hai của Hồ thái hậu là Cao Nghiễm, khi này có tước Lang Da vương, tức giận trước việc Hòa Sĩ Khai nắm giữ quyền lực nên đã giết chết người này, và thậm chí còn huy động quân của mình để nhằm đoạt lấy quyền lực và giết chết Lục Lệnh Huyên và Mục Đề Bà. Mặc dù tán thành việc Cao Nghiễm giết chết Hòa Sĩ Khai, song Hộc Luật Quang vẫn trung thành với hoàng đế và lệnh cho quân của Cao Nghiễm giải tán. Hộc Luật Quang đã bắt giữ Cao Nghiễm và đưa ông ta vào cung. Theo đề xuất của Hộc Luật Quang, ban đầu Cao Vĩ đã tha cho hoàng đệ, song đến mùa đông năm 571 ông đã phái Lưu Đào Chi đi giết Cao Nghiễm, bốn người con trai của Cao Nghiễm được sinh ra sau đó cũng bị giết.

Từ khi Hòa Sĩ Khai chết, Hồ thái hậu không chịu nổi cảnh lẻ bóng quyết định tìm một người đàn ông thay thế. Có vẻ như thấy việc tư thông với đại thần trong triều dễ gây điều tiếng, nhất là khi giờ đây mình không còn là Hoàng hậu mà đã là Thái hậu, mẹ của Hoàng đế, vì thế, Hồ Thái hậu quyết định tìm một vị sư làm người tình. Bà thường đi đến nhiều chùa chiền và bắt gặp một nhà sư có dung mạo đẹp là Đàm Hiến (曇獻), bèn tư thông với nhau. Ban đầu, hai người mây mưa với nhau ngay ở thiền phòng trong chùa. Nhưng sau đó, Hồ Thái hậu không thể chịu nổi một tháng chỉ được 2 lần lên chùa gặp tình nhân nên lấy cớ là muốn nghe “giảng kinh”, đón Đàm Hiến vào hậu cung của mình để tư thông suốt ngày đêm, lại ban cho nhiều đồ quý mà Vũ Thành Đế từng sử dụng lúc còn sống. Bà phái người đi tìm những người đàn ông đẹp nhất nước, cạo đầu họ, cải trang thành sư cô, đưa đến tẩm cung bà. Tất cả người trong cung đều biết chuyện, kể cả những tăng ni trong chùa, chỉ mỗi một mình Cao Vĩ cứ tưởng rằng mẹ mình một lòng hướng đến Phật. Một lần Cao Vĩ đến cung thỉnh an bà, thấy hai ni cô xinh đẹp, mặt mày thanh tú, định nạp làm thiếp, sau đó bất ngờ phát hiện ra hai người đó là đàn ông. Sự việc dâm loạn của Thái hậu bị phát giác, bà bị Cao Vĩ giam lỏng ở Bắc cung, tất cả người tình đều bị giết. Tuy nhiên không lâu sau, bà được đón về. Hồ thái hậu vì vậy liên tục oán thán với Cao Vĩ, nhiều lần công khai mỉa mai Cao Vĩ. Cao Vĩ biết mẹ mình tàn nhẫn, từ đó rất cảnh giác với Hồ thái hậu, chỉ cần là món ăn bà làm, Cao Vĩ đều sợ có độc, không dám ăn dù chỉ là một miếng. Mùa xuân năm 572, để an ủi mẫu thân, ông đã truy thụy cho Cao Nghiễm là "Sở Cung Ai Đế" và tôn phong Lý vương phi là "Sở Đế hoàng hậu". Tổ Thỉnh và Lục Lệnh Huyên đã cố gắng để Lục thị có thể trở thành hoàng thái hậu, song Cao Vĩ đã không chấp thuận.

Để làm vừa lòng hoàng nhi, Hồ thái hậu đã triệu con gái của anh trai ruột là Hồ Trường Nhân (胡長仁) vào cung và cho người này vận những loại y phục thượng đẳng. Cao Vĩ khi trông thấy Hồ thị đã say đắm và cưới bà làm thiếp. Sau khi Hộc Luật hoàng hậu bị phế truất năm 572, dưỡng mẫu Lục Lệnh Huyên muốn Mục Hoàng Hoa trở thành hoàng hậu, song Hồ thái hậu lại muốn cháu gái bà là Hồ thị trở thành hoàng hậu. Tuy nhiên, Hồ thái hậu cho rằng mình không đủ khả năng thuyết phục nhi tử, nên bà đã đem quà tặng cho Lục Lệnh Huyên. Lục Lệnh Huyên cũng nhận thấy Cao Vĩ sủng ái Hồ thị, vì thế đã cùng đề xuất với Tổ Thỉnh về việc lập Hồ thị làm hoàng hậu, Cao Vĩ đã chấp thuận điều này. Mùa thu năm 572, Hồ thị được lập thành hoàng hậu. Cao Vĩ hết sức sủng ái Hồ hoàng hậu, đến nỗi ông cho gắn ngọc trai bên ngoài y phục của bà, song những y phục này sau đó đã bị phá hủy trong một vụ hỏa hoạn. Tuy nhiên, sau đó ít lâu, do sủng ái Mục Hoàng Hoa, Cao Vĩ đồng ý với nhũ mẫu, và lập Mục thị làm "hữu hoàng hậu", còn Hồ hoàng hậu có tước hiệu là "tả hoàng hậu".

Khoảng tết năm 573, Lục Lệnh Huyên đã vu cáo với Hồ thái hậu rằng Hồ hoàng hậu đã phỉ báng phẩm hạnh của Hồ thái hậu, Hồ thái hậu tức giận nên đã không thẩm tra lại thông tin và lệnh trục xuất Hồ hoàng hậu ra khỏi cung, và sau đó bảo Cao Vĩ phế truất Hồ hoàng hậu.